\documentclass[a4paper,nofonts]{tufte-handout}

\title[Дискретные распределения вероятностей]%
{Дискретные распределения вероятностей}
\author{А. Сафонов, А. Соболевский (ИППИ РАН)}
\date{}

\begin{document}
\maketitle

\section{Основные определения}
\label{sec:ranvar}

\emph{Распределением вероятности} на множестве $\{0, 1, 2, \dots\}$
называют последовательность $p_n$, $n = 0, 1, 2, \dots$, которая
удовлетворяет двум условиям:
\begin{equation}
  \label{eq:7}
  p_n \ge 0\ \text{для всех $n \ge 0$};\quad \sum_{n\ge 0} p_n = 1.
\end{equation}
Распределение вероятности характеризует некоторую \emph{случайную%
  \marginnote{Прописными латинскими буквами здесь и ниже обозначены
    случайные величины, а строчными~--- переменные или индексы,
    которые пробегают соответствующие множества значений.} %
  величину $N$}: $\Prob(N = n) = p_n$ или $p_N(n)$, если необходимо
подчеркнуть, какой случайной величине принадлежит распределение.

\emph{Совместным распределением} нескольких случайных величин $K, L,
\dots, N$ называется набор чисел $p_{kl\dots n} = \Prob(K = k, L =
\ell, \dots, N = n)$. %
При суммировании по части переменных получаются различные
\emph{маргинальные распределения}, например
\begin{equation}
  \label{eq:9}
  p_K(k) = \sum_{\ell, \dots, n\ge 0} p_{k\ell\dots n}.
\end{equation}
Случайные величины $K, L, \dots, N$ называются \emph{независимыми
  (в~совокупности)}, если
\begin{equation}
  \label{eq:10}
  p_{k\ell\dots n} = p_K(k)\,p_L(\ell)\cdots p_N(n).
\end{equation}

% вероятности, нормированные на 100:
% array([[ 3.78202133,  1.63514106,  8.1486138 ,  0.15124957,  3.98191146],
%        [ 5.43367322,  5.91979804,  0.10493592,  6.75159634,  3.98191516],
%        [ 4.64207919,  2.5846838 ,  5.85280818,  2.1594156 ,  1.71188706],
%        [ 6.94408162,  0.21124871,  2.33772956,  4.80695196,  3.58133098],
%        [ 8.48866891,  3.34243459,  0.45257605,  7.60892957,  5.3843183 ]])
\begin{marginfigure}[\baselineskip]
  \begin{tikzpicture}[scale=0.9]
    \draw[->] (0, 0) -- (0, 4.5) node [left] {$n$}; %
    \draw[->] (0, 0) -- (4.5, 0) node [above] {$m$}; %
% вероятности
    \filldraw[fill=white] (0, 0) circle (1.94pt)
     (0, 1) circle (2.33pt)
     (0, 2) circle (2.15pt)
     (0, 3) circle (2.63pt)
     (0, 4) circle (2.91pt)
     (1, 0) circle (1.28pt)
     (1, 1) circle (2.43pt)
     (1, 2) circle (1.61pt)
     (1, 3) circle (0.46pt)
     (1, 4) circle (1.83pt)
     (2, 0) circle (2.85pt)
     (2, 1) circle (0.32pt)
     (2, 2) circle (2.42pt)
     (2, 3) circle (1.53pt)
     (2, 4) circle (0.67pt)
     (3, 0) circle (0.39pt)
     (3, 1) circle (2.60pt)
     (3, 2) circle (1.47pt)
     (3, 3) circle (2.19pt)
     (3, 4) circle (2.76pt)
     (4, 0) circle (2.00pt)
     (4, 1) circle (2.00pt)
     (4, 2) circle (1.31pt)
     (4, 3) circle (1.89pt)
     (4, 4) circle (2.32pt);
% маргинальное распределение m
    \fill[gray] (0, -1) circle (5.41pt);
    \fill[gray] (1, -1) circle (3.70pt);
    \fill[gray] (2, -1) circle (4.11pt);
    \fill[gray] (3, -1) circle (4.63pt);
    \fill[gray] (4, -1) circle (4.32pt);
% маргинальное распределение n
    \fill[gray] (-1, 0) circle (4.21pt);
    \fill[gray] (-1, 1) circle (4.71pt);
    \fill[gray] (-1, 2) circle (4.12pt);
    \fill[gray] (-1, 3) circle (4.23pt);
    \fill[gray] (-1, 4) circle (5.03pt);
% % события
%     \draw[dashed] (2.7, -.3) rectangle (3.3, 4.5) node [above left] {$M = 3$};
%     \draw[dashed,rotate=-45] (-.3, -.3) rectangle (.3, 6) node [above right] {$M = N$};
  \end{tikzpicture}\bigskip
  \caption{Белые кружки изображают совместное распределение случайных
    величин $M$ и~$N$, серые кружки~--- маргинальные распределения $M$
    (по горизонтали) и~$N$ (по вертикали). %
    Площади серых кружков получаются суммированием площадей белых
    кружков, расположенных в соответствующем вертикальном или
    горизонтальном ряду.}
\end{marginfigure}

Результат усреднения функции $f$ от случайной величины $N$ по
соответствующему распределению вероятности называется
\emph{математическим ожиданием} этой функции:
\begin{equation}
  \label{eq:8}
  \ave{f(N)} = \sum_{n \ge 0} f(n)\, p_n.
\end{equation}
\emph{Моментом} и \emph{центральным моментом} $k$-го порядка случайной
величины $N$ называются математические ожидания
\begin{equation}
  \label{eq:6}
  \mu_k := \ave{N^k},\quad \mucirc_k := \ave{(N - \mu_1)^k}.
\end{equation}


\section{Производящие функции}
\label{sec:genfun}

\emph{Производящей функцией} распределения вероятности $(p_n)$,
соответствующего случайной величине $N$, и \emph{производящей функцией
  моментов}%
\marginnote{Производящая функция моментов~--- это
  преобразование Лапласа распределения вероятности.} %
этого распределения называются функции
\begin{equation}
  \label{eq:1}
  G_N(z) := \sum_{n \ge 0} p_n\, z^n,\quad
  \Phi_N(s) := \sum_{n\ge 0} p_n\,\exp{ns}.
\end{equation}

\newpage Легко видеть, что $G_N(z)$ определена при $|z|\le 1$,
$\Phi(s)$%
\marginnote{\exerc (Знаками \raisebox{-1ex}{\Large\HandLeft}
  и~\raisebox{-1ex}{\Large\HandRight} обозначаются упражнения.)
  Покажите, что $G_N(z)$ возрастает и выпукла на отрезке $[0, 1]$.}
определена при $s \ge 0$ и
\begin{gather}
  \label{eq:4}
  G_N(z) = \ave{z^N},\quad
  \Phi_N(s) = \ave{\exp{Ns}} = G(\exp{s}),\\
  \label{eq:12}
  G_N(1) = \Phi_N(0) = \ave 1 = 1.
\end{gather}

Пусть $M$, $N$~--- случайные величины с распределениями $(p_m)$
и~$(q_n)$ и производящими функциями вероятности $G_M(z) = \sum_{m \ge
  0} p_m\, z^m$ и $G_N(z) = \sum_{n \ge 0} q_n\, z^n$. %
Если $M$ и~$N$ независимы, то производящая функция случайной величины
$M + N$ имеет вид%
\begin{equation}
  \label{eq:3}
  G_{M + N}(z) = \ave{z^{M + N}} = \ave{z^M\, z^N}
  = \ave{z^M}\, \ave{z^N} = G_M(z)\, G_N(z).
\end{equation}\marginnote[-1.5\baselineskip]{\exerc Как здесь
  использована независимость $M$ и~$N$?}
Аналогично $\Phi_{M + N}(s) = \Phi_M(s)\, \Phi_N(s)$. %

Моменты случайной величины~$N$ получаются при дифференцировании
производящей функции моментов $\Phi_N$:
\begin{equation}
  \label{eq:5}
  \od[k]{}s\Phi_N(0) = \ave{N^k\, \exp{Ns}}\vert_{s = 0}
  = \ave{N^k} = \mu_k.
\end{equation}

Значения производных логарифма производящей функции моментов $K_N(s) =
\log \Phi_N(s)$ при $s = 0$ называются \emph{кумулянтами}:
\begin{equation}
  \label{eq:11}
  \od[k]{}s K_N(0) = \kappa_k
\end{equation}
Кумулянты выражаются через моменты следующими
формулами:\marginnote{\exerc Проверьте эти формулы и убедитесь, что
  $\kappa_2 = \mucirc_2$ и $\kappa_3 = \mucirc_3$. %
  Верно ли, что $\kappa_4 = \mucirc_4$?}
\begin{align}
  \label{eq:2}
  \kappa_1 &= \mu_1,\\
  \kappa_2 &= \mu_2 - \mu_1^2,\\
  \kappa_3 &= \mu_3 - 3\mu_2\mu_1 + 2\mu_1^3,\\
  \kappa_4 &= \mu_4 - 4\mu_3\mu_1 -3\mu_2^2 + 12\mu_2\mu_1^2 -
  6\mu_1^4, \dots
\end{align}\marginnote[-4.5\baselineskip]{Второй кумулянт называется
  \emph{дисперсией}, а $\sigma = \sqrt{\kappa_2}$ ---
  \emph{стандартным отклонением}. %
  <<Обезразмеренные>> кумулянты $\kappa_3/\sigma^3$ и
  $\kappa_4/\sigma^4$ называются \emph{асимметрией}
  и~\emph{эксцессом}.}%
По размерности моменты и кумулянты совпадают, но в отличие от
моментов, кумулянты \emph{аддитивны}\marginnote{\exerc Почему?},
т.~е.\ при сложении независимых случайных величин складываются.

\section{Некоторые распределения вероятности}
\label{sec:zoodiscr}
\marginnote[-\baselineskip]{\exerc Вычислите первые четыре кумулянта
  для каждого из этих распределений.}

\subsection{Биномиальное распределение}
\label{sec:binomial}

Параметры $0 < p < 1$, целое $k \ge 1$:\marginnote{Биномиальное
  распределение описывает число успехов в $k$ независимых испытаниях,
  если вероятность успеха в каждом из них есть $p$.}
\begin{align}
  \label{eq:13}
  p_n &= \binom kn p^n (1 - p)^{k - n} &
  G(z) &= \bigl(1 + p(z - 1)\bigr)^k
\end{align}

\subsection{Геометрическое распределение}
\label{sec:geometric}

Параметр $0 < p < 1$:\marginnote{Геометрическое распределение
  описывает число неудач, происходящих до первого успеха
  в~неограниченной последовательности независимых испытаний.}
\begin{align}
  \label{eq:14}
  p_n &= p(1 - p)^n,\ n = 0, 1, 2, \dots &
  G(z) &= \frac p{1 - (1 - p)z}
\end{align}


\subsection{Отрицательное биномиальное распределение}
\label{sec:negbinom}

Параметры $0 < p < 1$, целое $k \ge 1$:\marginnote{Отрицательное
  биномиальное распределение описывает число неудач, происходящих до
  $k$-го успеха в~неограниченной последовательности независимых
  испытаний.}
\begin{align}
  \label{eq:15}
  p_n &= \binom{n + k - 1}{k - 1} p^k (1 - p)^n &
  G(z) &= \Bigl(\frac p{1 - (1 - p)z}\Bigr)^k
\end{align}

\newthought{Следующие несколько распределений} получаются из
предыдущих в \emph{пределе редких событий}: число испытаний стремится
к~бесконечности, а вероятность успеха в одном испытании~--- к~нулю
так, чтобы <<среднее число успехов>> $\lambda$ оставалось постоянным.

\subsection{Распределение Пуассона}
\label{sec:poisson}

Параметр $\lambda > 0$:\marginnote{\exerc Это распределение получается
  из биномиального распределения в пределе $k\to\infty$, $p =
  \lambda/k$ (проверьте).}
\begin{align}
  \label{eq:16}
  p_n &= \frac{\lambda^n}{n!}\exp{-\lambda} &
  G(z) &= \exp{\lambda(z - 1)}
\end{align}

\subsection{Экспоненциальное распределение}
\label{sec:exponent}

Параметр $\lambda > 0$:\marginnote{\exerc Это распределение получается
  из геометрического распределения в пределе $k\to\infty$, если $p =
  \lambda/k$ и $n = kt$ с учетом того, что на отрезке $\Delta t$
  укладывается $k\Delta t$ значений~$n$ (проверьте).}
\begin{gather}
  \label{eq:17}
  p(t) = \lambda\exp{-\lambda t}\quad \text{(плотность вероятности
    при $t > 0$)} \\
  \Phi(s) = \frac\lambda{\lambda - s}\quad \text{(преобразование
    Лапласа плотности при $s < \lambda$)}
\end{gather}

\subsection{Распределение Эрланга}
\label{sec:erlang}

Параметры $\lambda > 0$, целое $k\ge 1$:\marginnote{Это распределение
  получается сложением $k$ экспоненциально распределенных случайных
  величин}
\begin{gather}
  \label{eq:18}
  p(t) = \lambda\frac{(\lambda t)^{k - 1}}{(k - 1)!}\exp{-\lambda t}\quad 
  \text{(плотность вероятности при $t > 0$)} \\
  \Phi(s) = \Bigl(\frac\lambda{\lambda - s}\Bigr)^k\quad
  \text{(преобразование Лапласа плотности при $s < \lambda$)}
\end{gather}

% TODO: Catalan numbers and distribution of first return time
% https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=3&ved=0CEgQFjAC&url=http%3A%2F%2Fwww-math.mit.edu%2Fphase2%2FUJM%2Fvol1%2FRMONTE-F.PDF&ei=IjUUUdanDMT34QSWsICgDA&usg=AFQjCNFIvJ949xT_E-Rl0GM2vgadhjKTtg&sig2=mfehTUPJdHQjqUsXm-cF0g&bvm=bv.42080656,d.bGE&cad=rjt

\section{Задачи}
\label{sec:problems}

%\begin{fullwidth}
\begin{problems}
\item Пусть $F(z)$, $G(z)$~--- производящие функции некоторых
  распределений вероятности случайных величин $M$ и~$N$, а ${0 < p <
    1}$. %
  Выражают ли следующие формулы производящие функции некоторых
  распределений вероятности? %
  Если да, каков их вероятностный смысл?
  % \begin{equation}
  %   \label{eq:19}
  %   G(2z) \qquad
  %   [G(z)]^4 \qquad
  %   \frac 1{2 - G(z)} \qquad
  %   \frac{G(pz)}{G(p)} \qquad
  %   pF(z) + (1 - p)G(z) \qquad
  %   F(G(z))
  % \end{equation}
  \begin{align}
    \label{eq:19}
    &G(z^2) && pF(z) + (1 - p)G(z) && [G(z)]^4  \\[1ex]
    &\frac{G(pz)}{G(p)}&& F(G(z)) &&\frac 1{2 - G(z)} 
  \end{align}
\item Случайная величина $N$ имеет биномиальное распределение с
  параметрами $k$ и $X$, причем $X$ сама по себе является случайной
  величиной, равномерно распределенной на~$[0, 1]$. %
  Чему равна вероятность $\Prob(N = n)$?
\item Случайная величина $N$ распределена по Пуассону с параметром
  $\Lambda$, причем $\Lambda$ сама по себе является случайной
  величиной, распределенной экспоненциально с параметром~$\mu$. %
  Чему равна вероятность $\Prob(N = n)$?
\item В каждое шоколадное яйцо <<Киндер-сюрприз>> вложена пластиковая
  игрушка. %
  Всего есть $k$ видов игрушек, и каждое шоколадное яйцо может
  содержать игрушку любого вида с равными вероятностями. %
  Сколько яиц нужно купить в среднем, чтобы собрать коллекцию из всех
  $k$ игрушек?
\item Пользуясь преобразованиями Лапласа или Фурье, проверьте
  правильность формулы п.~\ref{sec:erlang} для плотности распределения
  Эрланга.
\item В семействе лордов N-ских%
  \marginnote{Эта и три следующие задачи посвящены исследованию
    т.~н.\ ветвящихся процессов.}
  каждый мужчина имеет случайное число
  сыновей, распределение которого задается производящей
  функцией~$G(z)$, причем для всех лордов N-ских это распределение
  одно и то же~--- оно задано генетически. %
  Считая, что в первом поколении лорд N-ский был один (т.~е.\ $N_1 =
  1$), второе поколение составляют $N_2$ его сыновей, третье~--- $N_3$
  его внуков и т.~д., найдите производящую функцию распределения
  вероятности, математическое ожидание и дисперсию числа лордов N-ских
  в $k$-м поколении.
\item В условиях предыдущей задачи покажите, что если математическое
  ожидание числа сыновей одного из лордов меньше единицы, то
  вероятность $\Prob(N_k = 0)$ вымирания семьи в $k$-м поколении с
  ростом $k$ стремится к единице, а если больше~--- то к некоторому
  неотрицательному значению, меньшему единицы. %
  Каков прогноз, если математическое ожидание числа потомков точно
  равно~$1$?
\item Пусть число потомков лорда N-ского распределено геометрически с
  параметром~$p$. %
  Найдите распределение вероятности для номера поколения, в котором
  происходит вымирание семьи.
\item В условиях предыдущей задачи покажите, что если $p = \frac 12$,
  то математическое ожидание числа поколений, в которых имеется ровно
  один лорд N-ский, равно $\pi^2/6$.
\end{problems}
%\end{fullwidth}

\end{document}

